Grundriss der Philippsburg

Grundriss nach Dilich
Die dem Rhein zugewandte Schaufassade des dreigeschossigen Hauptbaus wurde auf die mittelalterliche Stadtmauer gesetzt. Über einem hohen massiven Erdgeschoss erhoben sich zwei Fachwerkgeschosse und darüber ein Satteldach mit Zwerchhäusern, deren Fachwerkstrukturen den Eindruck einer reich verzierten Fassade erreichen. Davor wurde unmittelbar am Rheinufer ein Zwinger angelegt, eine neue, für die artilleristische Verteidigung geeignete Befestigung, die aus zwei starken Rundtürmen und einer mit Schießscharten versehenen Verbindungsmauer (Kurtine) bestand. Unmittelbar dahinter wurde an der Rheinseite ein barocker Garten angelegt.  
Eingang zum Institut
Der mit dem Hauptbau verbundene Seitenflügel hat ebenso wie das Torhaus sein altes Erscheinungsbild im Wesentlichen erhalten. Das gilt auch für das an der östlichen Hofseite separat stehende ehemalige Amtshaus, unter dem sich drei hintereinander in den Berg hinein gestaffelte Weinkeller befinden, die ebenso auf den mittelalterlichen Ursprung des Gebäudes schließen, wie der noch vollständig erhaltene Dachstuhl, der mit mehreren hübschen Fachwerkgiebeln ausgestattet ist.
Gut erhalten ist auch das nördliche Torgebäude mit Fachwerkgeschoss und Giebeln über der Durchfahrt. Bergseitig steht noch heute frei ein ehemaliger Treppenturm, ein weiterer ist an die Südostecke des Hauptgebäudes angesetzt.
Südlich schloss sich an den Schlosskomplex eine mit einem Turm versehene Vorburg an, nördlich liegt stadtwärts der ehem. Marstall, ein zweistöckiger Steinbau. 
Lesesaal des EBI
 Die Renovierung des Hauptgebäudes 1804/05 erforderte die Beseitigung des steilen Daches, der Zwerchhäuser mit ihren dekorativen Volutengiebeln und den Abbruch des dritten Vollgeschosses. Weitere bauliche Veränderungen 1822 verliehen dem einst repräsentativsten Gebäude der Gesamtanlage das bescheidene heutige Aussehen.
In Folge des Bahnbaus 1861 verschwand die südlich anschließende Vorburg samt dem südlichsten Turm (Muggenturm der Braubacher Stadtbefestigung) und die frühneuzeitliche Fortifikation vor der Rheinfront.  
Das ehemalige Hauptgebäude enthält heute die Räumlichkeiten des Europäischen Burgeninstitutes mit seiner umfangreichen, öffentlich zugänglichen Burgenbibliothek.